在这项工作中,我们介绍了RITA:蛋白质序列的自回归生成模型套件,具有多达12亿个参数,对属于Uniref-100数据库的2.8亿次蛋白质序列进行了培训。这种生成模型具有极大加速蛋白质设计的希望。我们对蛋白质结构域中自回旋变压器的模型大小进行的能力大小进行了首次系统研究:我们在下一个氨基酸预测,零摄像及适应性和酶功能预测中评估RITA模型,从而显示出增加的量表。我们公开发布丽塔模型,以使研究界受益。
translated by 谷歌翻译
Methods based on ordinary differential equations (ODEs) are widely used to build generative models of time-series. In addition to high computational overhead due to explicitly computing hidden states recurrence, existing ODE-based models fall short in learning sequence data with sharp transitions - common in many real-world systems - due to numerical challenges during optimization. In this work, we propose LS4, a generative model for sequences with latent variables evolving according to a state space ODE to increase modeling capacity. Inspired by recent deep state space models (S4), we achieve speedups by leveraging a convolutional representation of LS4 which bypasses the explicit evaluation of hidden states. We show that LS4 significantly outperforms previous continuous-time generative models in terms of marginal distribution, classification, and prediction scores on real-world datasets in the Monash Forecasting Repository, and is capable of modeling highly stochastic data with sharp temporal transitions. LS4 sets state-of-the-art for continuous-time latent generative models, with significant improvement of mean squared error and tighter variational lower bounds on irregularly-sampled datasets, while also being x100 faster than other baselines on long sequences.
translated by 谷歌翻译
我们提供了一种单发图像合成的方法,该方法可以通过倒置配备有强正规化器的准稳定分类器来控制单个图像的操作。我们提出的标题为“魔术”的方法是从预先训练的准稳定分类器中的结构化梯度,以更好地保留输入语义,同时保留其分类精度,从而确保合成中的信誉。与当前使用复杂原语的当前方法来监督该过程或使用注意图作为弱监督信号,魔术汇总了输入上的梯度,这是由导向二进制掩码驱动的,该导向二进制掩码可以实施强大的空间先验。魔术在一个框架上实现了一系列的操作,以实现形状和位置控制,强烈的非刚性形状变形,并在存在重复对象的情况下复制/移动操作,并通过仅需指定二进制指南掩码来使用户对综合的企业控制。我们的研究和发现得到了与最新图像的各种定性比较,从成像网和使用机器感知进行定量分析的相同图像以及对100多名参与者的用户调查来认可我们的合成质量。
translated by 谷歌翻译
该报告说明了基于音频和视频数据的最成功的AAL应用程序和功能的艺术状态,即(i)生命式和自我监控,(ii)对生命体征的远程监控,(iii)情绪状态识别,((iv)食物摄入量监测,活动和行为认识,(v)活动和个人帮助,(vi)手势识别,(vii)秋季检测和预防,(viii)移动性评估和脆弱的识别以及(IX)认知和运动康复。对于这些应用程序方案,该报告说明了科学进步,可用产品和研究项目的状态。开放的挑战也被突出显示。
translated by 谷歌翻译
现实世界中的大规模图形数据通常是动态而不是静态。数据随着时间的推移而出现的新节点,边缘,甚至是类,例如引用网络和研发协作网络。图形神经网络(GNNS)已成为众多关于图形结构数据的任务的标准方法。在这项工作中,我们采用了两步程序来探索GNN如何递增地适应新的未完成图形数据。首先,我们分析标准基准数据集的转换和归纳学习之间的边缘。在归纳预测后,我们将未标记的数据添加到图表中并显示模型稳定。然后,我们探索不断添加越来越多的标记数据的情况,同时考虑案例,在任何情况下都没有使用类标签注释。此外,我们在图表演变时介绍了新的类,并探索了自动检测来自先前看不见的类学的方法。为了以原则的方式处理不断发展的图形,我们提出了一个终身学习框架,用于图表数据以及评估协议。在本框架中,我们评估代表性的GNN架构。我们观察到模型参数内的隐式知识在显式知识时变得更加重要,即来自过去任务的数据,是有限的。我们发现,在开放世界节点分类中,令人惊讶地少数过去任务的数据足以达到通过从所有过去任务中记住数据达到的性能。在看不见的类检测的具有挑战性任务中,我们发现使用加权交叉熵损失对于稳定性很重要。
translated by 谷歌翻译
我们介绍了Shennong,一个Python工具箱和命令行实用程序,用于语音功能提取。它实现了广泛的既定现实算法状态,包括诸如熔融频率纤维滤波器或预测的线性滤波器,预先训练的神经网络,音高估计器以及扬声器归一化方法和后处理算法的谱时间滤波器。 Shennong是一种开源,易于使用,可靠和可扩展的框架。 Python的使用使得集成到其他语音建模和机器学习工具方便。它旨在替换或补充几种异质软件,例如Kaldi或Praat。在描述神农软件架构,其核心组件和实现的算法之后,本文说明了三种应用的使用:语音特征在手机辨别任务上的性能进行比较,作为语音函数的声音轨道长度归一化模型的分析用于训练的持续时间和各种噪声条件下的音高估计算法的比较。
translated by 谷歌翻译